Wanneer de eerste stenen gelegd werden, kan men niet meer achterhalen. De eerste afbeeldingen van het kasteel dateren uit de eerste helft van de 16de eeuw, maar de ronde donjontorens aan de oostkant en de dubbele slotgracht met poortgebouw verraden duidelijk een oudere middeleeuwse, feodale waterburcht.
In oorsprong was het kasteel een ‘huis’ waaraan feodale rechten over de dorpen Leut, Meeswijk en later ook Eisden verbonden waren. Tussen 1475 en 1752 bewoonde de adellijke familie Van Vlodrop het kasteel. Toen een telg uit dit geslacht in de opstand tegen Spanje (16de eeuw), de zijde van Willem van Oranje en dus ook het protestantisme koos, gingen de rijksheerlijke dorpen een rumoerige tijd tegemoet.
Om beurt bezetten Spaanse en Hollandse troepen het kasteel, en in 1662 was er zelfs een heuse belegering met kanonnen en geweren. In al deze partijtwisten en ruzies kon de familie Van Vlodrop zich echter handhaven, vaak met de actieve steun van de Verenigde Provincies. De rijksheerlijkheid werd zo een klein satellietstaatje van Holland: De officiële godsdienst was het protestantisme, maar de katholieke meerderheid werd niet onderdrukt. De mannen van de rijksheerlijkheid namen dienst in het Hollandse leger en de Van Vlodrops zelf maakten carrière in de Hollandse diplomatie en het Staatse Leger. Aan dit eigenaardige statuut van satellietstaat kwam in de loop van de 18de eeuw stilaan een einde.
In 1752 koopt de katholieke Maastrichtenaar Willem van Meeuwen het kasteel en alle daaraan verbonden rechten. Na het overlijden van de laatste adellijke bewoner van het slot, gravin Louise Vilain XIIII, komt het kasteel in 1920 in de handen van de Kolenmijnen Limburg-Maas (mijn van Eisden) om in het kasteel de gekwetste mijnwerkers te verzorgen. In de loop der jaren ontwikkelt het kasteel zich tot een regionaal ziekenhuis.  Als in 1987 de mijnen van het oostelijk bekken sluiten, wordt ook per 31 december 1987 het ziekenhuis “Kliniek Vilain XIIII” gesloten. Na een grondige architectonische herconditionering wordt op 12 december 1988 het “Rust- en Verzorgingstehuis Vilain XIIII” opgestart. In 2008 verhuist het rust- en verzorgingshuis naar Lanaken.
Het kasteel en de bijgebouwen deden later dienst als horecabedrijf. In het hoofdgebouw werden tot voor kort regelmatig klassieke concerten gegeven. In 2017 koopt de sociale bouwmaatschappij ‘Maaslands Huis’ het in verval geraakte kasteel en zal het gebouw op termijn renoveren.